Kaye gia nhập West Bromwich Albion từ Scunthorpe United vào tháng 5 năm 1963 với mức giá 44.750 bảng Anh, kỉ lục của Albion vào thời điểm đó.[1] Ông có màn ra mắt cho The Baggies trước Leicester City vào tháng 8 năm 1963.[2] Kaye thi đấu cho Albion từ năm 1963 đến năm 1971 và vô địch Cúp FA và the Football League Cup (cũng như hai lần á quân trong giải này). Ông ghi bàn cho Albion ởl lượt về trận chung kết League Cup 1966 trước West Ham. Kaye rời Albion năm 1971 khi được bán cho Hull City.

Kaye dẫn dắt Hull City từ tháng 9 năm 1974 - tháng 10 năm 1977. Ông có tỉ lệ thắng 31.2%.